Dari Mekah kemudian ke Madinah, Imam Ahmad pergi ke Yaman menuntut ilmu dengan Abdul Razaq As San'ani. Dalam perjalanannya ke Yaman bekalan makanannya telah terputus. Lalu beliau mngambil upah membantu petani di perjalanannya mendapatkan makanan beberapa hari. Tiba di Yaman, nama Imam Ahmad telah pun dikenali. Ramai orang-orang kaya serta pembesar beri wang kepadanya. Namun Imam Ahmad mengembalikannya kepada mereka.

Imam Ahmad kembali ke Baghdad beliau terkenal sebagai orang soleh. Segala rujukan hadith datang kepada nya. Hebatnya Imam Ahmad sehingga jika beliau masuk ke pasar orang akan bertakbir. Solehnya Imam Ahmad sehingga menurut riwayat anaknya, kasut yang dipakai di kakinya itu tidak pernah bertukar selama 18 tahun.

Suatu hari sewaktu di Baghdad yang pada ketika itu sebuah bandar besar, Imam Ahmad berjalan sambil memikul kayu. Beliau bekerja mengambil upah untuk menyara kehidupannya. Ramai yang melihatnya, para pekedai keluar untuk melihatnya, orang yang menunggang kuda berhenti lalu mereka berkata, "Wahai Imam, tidak perlulah mengangkat bebanan berat ini, biar kami mengangkatnya untukmu." Lalu Imam Ahmad mendepakan tangannya, merah padam wajahnya menangis ia sambil berkata "نحن قومٌ مساكين, لولا سترالله لافتضحنا" Kami ini orang susah, jikalah tidak kerana Tuhan lindungi kami maka banyaklah aib kami yang terlihat. Maksudnya, kamu semua ni nak tolong aku kerana kamu sangka aku ini bagus, namun jikalau Tuhan buka kan aib ku nescaya daku ini tiada apa-apa.

Suatu ketika seseorang telah memuji-muji Imam Ahmad. Lalu beliau berkata, "Aku sumpah dengan nama Allah, Janganlah puji daku. Sebab jika kamu tahu dosa-dosa aku sudah pasti kamu akan ambil pasir dan tabur atas kepalaku."

Orang berkata kepadanya, '"Wahai Imam, semua orang memuji mu, sehinggakan tentera yang berperang di sempadan turut mendoakanmu kerana engkaulah yang mengajarkan mereka hadith dan sebagainya. Lalu Imam Ahmad berkata;" Aku rasa ini adalah merupakan Istidraj!. (Maksudnya Tuhan beri kelebihan kepada orang yang jahat agar ia jadi lebih jahat) Aku memohon ampun daripada Allah swt.".

Pada hari ajalnya hendak tiba, Imam Ahmad melihat kepada kedua-dua belah kakinya sambil menangis dan berkata, "Alangkah baiknya jikalau kedua-dua kaki ini sempat pergi berperang di jalan Allah swt".

Imam Ahmad tidak sempat pergi berperang kerana beliau telah dipenjarakan.

Menurut anaknya, Imam Ahmad bersolat sehari semalam sebanyak 300 rakaat.

Setelah beberapa tahun mengembara, Ahmad bin Hanbal berguru ilmu Fiqh dengan Imam Shafie. Ahmad bin Hanbal berpegang teguh kepada Al Quran dan As Sunnah serta menentang bid'ah dalam Islam.